Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity
你确定吗？指令微调对置信度和词汇多样性的影响
🧭 指令微调改变置信度与 rationale 多样性
Cohere Labs Community · Laboratoire Hubert Curien, UMR CNRS 5516, Saint-Étienne, France · School of Computer Science Engineering and Technology (SCSET), Bennett University, Greater Noida, India · School of Physical Therapy, Faculty of Health Sciences, Western University, London, Canada
在问答基准上评估匹配基座与指令微调模型，发现指令微调一致改变置信度但非均匀改变 rationale 词汇多样性
📌 工作参考价值（4 点）
- 在电商/推荐场景用 LLM 生成推荐理由或解释时，指令微调后的模型 verbalized confidence 可能系统性偏高，与真实准确率脱钩；上线前需要额外做 confidence calibration，不要直接采信模型自述置信度。
- 若用 LLM 批量生成商品卖点、用户 push 文案，需监控跨样本 rationale 多样性：指令微调可能使生成内容趋于同质化，建议引入多样性约束或后处理去重。
- 将 surface-level 词汇多样性（如 Unique-2）作为生成多样性监控指标时，注意它可能与语义多样性（cross-rationale diversity）不同向变化；最好同时监控两类指标，避免误判。
- 在 Agent 链路中让 LLM 输出思考过程或理由时，指令微调带来的置信度变化可能影响下游决策；可在 prompt 中要求模型更客观地报告不确定性，或使用 logit-based 校准替代 verbalized confidence。